Học chuyển giao là gì? Các nghiên cứu khoa học liên quan

Định nghĩa học chuyển giao

Học chuyển giao (Transfer Learning) là một nhánh của học máy (machine learning) cho phép sử dụng kiến thức đã học từ một tác vụ (task) hoặc miền dữ liệu (domain) trước đó để cải thiện hiệu suất của một tác vụ mới có liên quan. Không giống như học máy truyền thống – vốn yêu cầu dữ liệu huấn luyện độc lập cho mỗi tác vụ – học chuyển giao cho phép mô hình tận dụng các biểu diễn đã học và thích nghi chúng với điều kiện mới, thường khi dữ liệu của tác vụ mục tiêu hạn chế.

Trong bối cảnh dữ liệu ngày càng phân mảnh và đắt đỏ để thu thập, học chuyển giao trở thành một giải pháp chiến lược để giảm chi phí huấn luyện và rút ngắn thời gian triển khai mô hình. Ứng dụng của nó trải dài từ nhận diện hình ảnh, xử lý ngôn ngữ tự nhiên đến phân tích tín hiệu y sinh. Mô hình học được huấn luyện trên tập dữ liệu lớn và tổng quát (ví dụ: ImageNet, Common Crawl) sau đó được điều chỉnh (fine-tune) trên tập dữ liệu nhỏ hơn, đặc thù hơn.

Một biểu diễn tổng quát cho học chuyển giao gồm hai phần: tác vụ nguồn (source task) với miền $D_S = \{X_S, P_S(X)\}$ và tác vụ mục tiêu (target task) với miền $D_T = \{X_T, P_T(X)\}$. Mục tiêu là học được một hàm $f_T$ tối ưu hóa trên $D_T$, sử dụng kiến thức từ $D_S$, trong điều kiện có thể xảy ra $X_S \ne X_T$ hoặc $P_S(X) \ne P_T(X)$.

Các loại học chuyển giao

Các hình thức học chuyển giao được phân loại dựa trên mối quan hệ giữa miền và tác vụ ở hai giai đoạn nguồn và mục tiêu. Ba loại phổ biến nhất là:

• Inductive Transfer Learning: tác vụ nguồn và mục tiêu khác nhau, nhưng miền giống hoặc tương tự; có nhãn trong tác vụ mục tiêu.
• Transductive Transfer Learning: tác vụ giống nhau nhưng miền dữ liệu khác nhau; ví dụ: dịch ngôn ngữ từ miền tin tức sang miền y tế.
• Unsupervised Transfer Learning: không có nhãn trong cả tác vụ nguồn lẫn mục tiêu; thường áp dụng trong biểu diễn dữ liệu hoặc giảm chiều.

Phân biệt chi tiết các loại học chuyển giao giúp lựa chọn chiến lược phù hợp tùy vào bối cảnh thực tế, như có sẵn nhãn hay không, mức độ tương đồng giữa các miền, hoặc sự liên quan giữa các tác vụ. Đây là cơ sở để xây dựng mô hình hiệu quả hơn thay vì áp dụng phương pháp chung cho mọi tình huống.

Dưới đây là bảng phân loại học chuyển giao theo tác vụ và miền:

Loại học chuyển giao	Miền (Domain)	Tác vụ (Task)	Ví dụ
Inductive	Giống hoặc khác	Khác nhau	Nhận diện cảm xúc và phân loại chủ đề
Transductive	Khác nhau	Giống nhau	Dịch tiếng Anh trong hai miền khác nhau
Unsupervised	Khác nhau	Khác nhau	Giảm chiều và phân nhóm văn bản

Các thành phần của học chuyển giao

Học chuyển giao có cấu trúc rõ ràng bao gồm ba thành phần cốt lõi: miền (domain), tác vụ (task) và chiến lược chuyển giao (transfer strategy). Mỗi thành phần đóng vai trò khác nhau trong quy trình học.

• Miền (Domain): là cặp $D = \{X, P(X)\}$ với không gian đặc trưng $X$ và phân phối xác suất $P(X)$.
• Tác vụ (Task): là cặp $T = \{Y, f(\cdot)\}$ với không gian nhãn $Y$ và hàm mục tiêu $f: X \rightarrow Y$.
• Chiến lược chuyển giao: là phương pháp khai thác mối liên hệ giữa $D_S, T_S$ và $D_T, T_T$ để cải thiện $f_T$.

Khi $D_S \ne D_T$ hoặc $T_S \ne T_T$, mô hình cần thực hiện các điều chỉnh như tái huấn luyện tầng phân loại, chuẩn hóa miền dữ liệu hoặc học biểu diễn bất biến giữa các miền. Điều này đòi hỏi thiết kế mạng sâu linh hoạt và chiến lược tối ưu phù hợp với khoảng cách giữa nguồn và mục tiêu.

Ví dụ, với bài toán phân loại ảnh trong miền nguồn (ảnh tự nhiên) và mục tiêu (ảnh y khoa), không gian đặc trưng và phân phối dữ liệu khác nhau đáng kể. Do đó, cần áp dụng domain adaptation để làm giảm sai khác giữa $P_S(X)$ và $P_T(X)$, từ đó tránh hiện tượng "negative transfer".

Các kỹ thuật học chuyển giao phổ biến

Học chuyển giao có thể được triển khai theo nhiều kỹ thuật khác nhau, tùy vào cấu trúc mô hình, loại dữ liệu, và mục tiêu huấn luyện. Dưới đây là một số kỹ thuật phổ biến nhất:

• Feature Extraction: sử dụng các tầng trích đặc trưng từ mô hình nguồn và chỉ huấn luyện lại tầng cuối.
• Fine-tuning: huấn luyện lại toàn bộ mô hình với learning rate thấp trên dữ liệu mục tiêu.
• Domain Adaptation: giảm thiểu khoảng cách giữa phân phối dữ liệu qua kỹ thuật như MMD, GAN, hoặc Gradient Reversal Layer.
• Multi-task Learning: học đồng thời nhiều tác vụ có liên quan để chia sẻ biểu diễn tầng sâu.

Kỹ thuật lựa chọn phụ thuộc vào kích thước và tính chất của dữ liệu mục tiêu. Fine-tuning có hiệu quả tốt khi dữ liệu không quá nhỏ, trong khi feature extraction phù hợp với tình huống ít nhãn. Domain adaptation trở thành cần thiết khi miền dữ liệu khác biệt rõ rệt, điển hình trong ứng dụng giữa ngôn ngữ hoặc giữa ngành nghề.

Bảng dưới đây so sánh các kỹ thuật dựa trên ba tiêu chí: độ linh hoạt, yêu cầu dữ liệu và độ phức tạp tính toán:

Kỹ thuật	Linh hoạt	Yêu cầu dữ liệu	Phức tạp
Feature Extraction	Trung bình	Thấp	Thấp
Fine-tuning	Cao	Trung bình	Trung bình
Domain Adaptation	Cao	Cao	Cao
Multi-task Learning	Rất cao	Cao	Rất cao

Ứng dụng thực tế của học chuyển giao

Học chuyển giao đã trở thành trụ cột trong nhiều lĩnh vực của trí tuệ nhân tạo hiện đại. Bằng cách tận dụng kiến thức từ các mô hình đã được huấn luyện trên quy mô lớn, người ta có thể giải quyết hiệu quả các bài toán phức tạp trong điều kiện tài nguyên hạn chế. Ứng dụng điển hình nhất là trong thị giác máy tính và xử lý ngôn ngữ tự nhiên.

Trong thị giác máy tính, các mô hình như ResNet, EfficientNet, hoặc Vision Transformer được tiền huấn luyện trên bộ dữ liệu lớn như ImageNet, sau đó được fine-tune để giải quyết các tác vụ nhận diện đặc thù như phân loại tế bào ung thư, phân tích ảnh y tế hoặc kiểm tra chất lượng công nghiệp. Trong xử lý ngôn ngữ tự nhiên, các mô hình như BERT, GPT, RoBERTa được huấn luyện trước trên tập văn bản khổng lồ như Wikipedia, BookCorpus, rồi điều chỉnh cho các bài toán như phân loại văn bản, phân tích cảm xúc, dịch máy.

Danh sách các lĩnh vực đang ứng dụng học chuyển giao:

• Y học: phân tích hình ảnh MRI, CT; phát hiện tổn thương hoặc bất thường bằng mô hình pretrained.
• Tài chính: dự đoán rủi ro tín dụng từ các mô hình học trên dữ liệu thị trường tương đồng.
• Robot và điều khiển: chuyển giao kỹ năng từ mô phỏng sang thực tế (sim-to-real).
• Giáo dục: đánh giá kỹ năng học sinh từ mô hình huấn luyện ở ngữ cảnh khác.

Lợi ích và hạn chế của học chuyển giao

Học chuyển giao mang lại nhiều lợi ích thiết thực, đặc biệt trong các bối cảnh dữ liệu mục tiêu hạn chế hoặc đắt đỏ. Việc tận dụng các mô hình đã được huấn luyện giúp giảm thời gian phát triển, chi phí điện toán, đồng thời nâng cao hiệu suất tổng thể.

Lợi ích chính:

• Giảm yêu cầu dữ liệu: nhờ tận dụng biểu diễn đã học, mô hình vẫn hoạt động tốt khi dữ liệu mục tiêu ít.
• Tiết kiệm tài nguyên: giảm đáng kể chi phí tính toán so với huấn luyện từ đầu.
• Hiệu suất cao hơn: đặc biệt khi miền dữ liệu có tính tương đồng với tác vụ nguồn.

Tuy nhiên, học chuyển giao cũng không tránh khỏi những hạn chế, đặc biệt nếu áp dụng sai ngữ cảnh hoặc giữa các tác vụ không liên quan, dễ dẫn đến hiệu ứng "chuyển giao tiêu cực" (negative transfer).

Hạn chế phổ biến:

• Phụ thuộc vào độ tương đồng giữa các miền: nếu biểu diễn học được không phù hợp, hiệu suất có thể giảm mạnh.
• Rủi ro "overfitting": mô hình dễ bị quá khớp nếu fine-tune trên tập dữ liệu mục tiêu quá nhỏ.
• Không tương thích mô hình: một số kiến trúc mạng không dễ dàng chuyển giao do sự phụ thuộc vào cấu trúc đầu vào đặc thù.

Học chuyển giao so với học truyền thống

Học truyền thống (train from scratch) yêu cầu mô hình học từ đầu mỗi khi có tác vụ mới, cần rất nhiều dữ liệu và thời gian huấn luyện. Trong khi đó, học chuyển giao cho phép tái sử dụng kiến thức đã học, rút ngắn chu trình phát triển mô hình và cải thiện độ chính xác.

Bảng so sánh dưới đây tóm tắt một số điểm khác biệt chính:

Tiêu chí	Học truyền thống	Học chuyển giao
Yêu cầu dữ liệu	Cao	Thấp hơn
Thời gian huấn luyện	Dài	Ngắn hơn
Khả năng khởi tạo	Ngẫu nhiên	Từ mô hình đã học
Khả năng mở rộng	Giới hạn	Linh hoạt hơn
Rủi ro negative transfer	Không có	Có thể xảy ra

Tiêu chí đánh giá hiệu quả học chuyển giao

Để đánh giá hiệu quả học chuyển giao, cần sử dụng các chỉ số định lượng phản ánh mức độ cải thiện so với mô hình học từ đầu. Một số chỉ số thường dùng:

• Transfer Ratio: tỉ số giữa độ chính xác khi chuyển giao và khi huấn luyện từ đầu.
• Accuracy/F1 Score: đo lường chất lượng phân loại hoặc dự đoán sau chuyển giao.
• Learning Curve: đánh giá tốc độ hội tụ của mô hình khi tăng dữ liệu mục tiêu.

Công thức tính Transfer Ratio:

$R = \frac{A_{transfer}}{A_{scratch}}$, trong đó $A_{transfer}$ là độ chính xác của mô hình được chuyển giao, còn $A_{scratch}$ là độ chính xác khi huấn luyện từ đầu.

Chỉ số này giúp định lượng lợi ích của học chuyển giao trong môi trường cụ thể, đồng thời hỗ trợ lựa chọn mô hình tiền huấn luyện phù hợp.

Xu hướng và tương lai của học chuyển giao

Học chuyển giao đang chuyển mình mạnh mẽ với sự xuất hiện của các mô hình nền (foundation models) như GPT-4, PaLM, LLaMA... Những mô hình này có khả năng chuyển giao đa nhiệm vụ, thậm chí không cần fine-tune (zero-shot learning) nhờ biểu diễn ngữ nghĩa mạnh và khái quát tốt.

Một số xu hướng phát triển nổi bật:

• Multi-modal Transfer Learning: chuyển giao giữa nhiều dạng dữ liệu như văn bản, hình ảnh, âm thanh.
• Auto Transfer Learning (AutoTL): tự động hóa việc chọn mô hình nguồn và chiến lược chuyển giao.
• Few-shot & Zero-shot Transfer: khả năng tổng quát hóa trên các tác vụ mới với rất ít hoặc không có mẫu huấn luyện.
• Continual Learning: kết hợp học chuyển giao với khả năng học liên tục mà không quên kiến thức cũ.

Các nghiên cứu gần đây tập trung cải thiện độ tin cậy, khả năng giải thích và tính đạo đức của các hệ thống chuyển giao, đặc biệt khi ứng dụng trong các lĩnh vực nhạy cảm như y tế, pháp lý và giáo dục.

Tài liệu tham khảo

1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. Neural Networks.
2. Zhuang, F., et al. (2020). A Comprehensive Survey on Transfer Learning. arXiv:2006.03654.
3. Papers with Code – Transfer Learning Benchmarks
4. Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. Nature Machine Intelligence.
5. Hugging Face Model Hub – Pretrained Models